Structure-Preserving Projection for Mitigating Modality Bias in LLM-Based Sequential Recommendation
结构保持投影缓解LLM序列推荐中的模态偏差
🧭 LLM推荐 · 模态偏差缓解 ★ 深度解读
National Taiwan University
通过余弦相似度保持与序列感知对比损失，迫使投影后的协同嵌入保留原始结构，抵消LLM对文本的过度依赖
📌 工作参考价值（4 点）
- Embedding Shuffle诊断法：冻结标题、随机打乱协同嵌入，观察性能下降幅度可直接衡量LLM对协同信号的依赖程度，适合用于评估自身融合模块的有效性。
- 结构保持损失可作为即插即用的约束：在MLP投影器后添加成对余弦相似度保持损失（MSE），或序列感知对比损失（正负样本区分），无需改动LLM结构，实现简单。
- 两段训练策略：先用纯结构保持损失预训练投影器，再联合LLM微调，可避免协同结构在语言模型训练初期就被破坏，适合在已有推荐pipeline中快速植入。
- 课程式组合损失：先用余弦相似度保持建立稳定拓扑，再渐进切换至对比损失，最大化几何保真与任务判别力的平衡，对需要同时保持物品泛化语义和序列偏好的场景（如电商多兴趣建模）有参考价值。